When Tool-Backed Skill Retrieval Fails: Source-Style Collapse in Executable Capability Retrieval
工具技能检索失败:可执行能力检索中的源风格坍缩
🧭 Agent 工具检索的源风格坍缩与路由 ★ 深度解读
University of Manchester · University of Sheffield · Shanghai University of Finance and Economics
固定工具库下 dense retriever 会因 query 源风格偏移而覆盖崩溃,TF-IDF 路由+少样本修复可显著恢复覆盖。
📌 工作参考价值(4 点)
- 在多源工具库/API 注册中心上线前,用 query-side TF-IDF 质心距离对流量做源风格监控,设置 safe/unsafe band 做路由护栏,成本极低且能避免线上 candidate coverage 崩溃。
- 不要用 naive 混合训练或平衡重加权来解决多源 drift,它会损害原本匹配源的覆盖;更划算的做法是保留多个 retriever checkpoint,做 source-aware routing,并对 mismatched 流量用 20 条左右 matched examples 做短时继续微调。
- 检索层是 agent 执行链路的入口,评估时优先看 coverage 或 coverage-weighted top-1 proxy,而不是只看 covered query 上的 reranker 精度;未覆盖 query 必须直接记为失败,否则会掩盖系统风险。
- 把工具/API 重渲染成标准化 skill card 并不能消除源风格坍缩,说明问题在 query-tool pairing 习惯和措辞分布,而不只是 schema 格式;做 skill 库时不要把格式归一化当成语义漂移修复。